检测人类相互作用对于人类行为分析至关重要。已经提出了许多方法来处理人对物体交互（HOI）检测，即检测人和物体在一起和分类交互类型的图像中检测。然而，人类对人类的相互作用，例如社会和暴力互动，通常不会在可用的会议训练数据集中考虑。由于我们认为这些类型的互动在分析人类行为时，我们不能从海内忽略和去相关，我们提出了一个新的互动数据集来处理两种类型的人类相互作用：人对人类或对象（H2O）。此外，我们介绍了一个新的动词分类，旨在更接近人体态度与周围的相互作用目标的描述，更加独立于环境。与某些现有数据集不同，我们努力避免在高度取决于目标类型时定义同义词，或者需要高水平的语义解释。由于H2O数据集包括使用此新分类系统注释的V-Coco映像，图像显然包含更多的交互。这可能是HOI检测方法的问题，其复杂性取决于人数，目标或交互的数量。因此，我们提出了空灵博（通过仅寻找一次），一种有效的主题的单射方法，用于检测一个向前通过的所有交互，恒定的推断时间与图像内容无关。此外，此多任务网络同时检测所有人员和对象。我们展示了如何为这些任务共享网络不仅可以节省计算资源，而且还可通过协作提高性能。最后，Diabolo是一种强大的基线，用于H2O交互检测的新挑战，因为它在Hoi DataSet V-Coco上训练和评估时表现出所有最先进的方法。
translated by 谷歌翻译
计算优化问题解决方案解决方案的雅各布是机器学习中的一个核心问题，其应用程序在超参数优化，元学习，优化为层和数据集蒸馏中的应用程序，仅举几例。展开的分化是一种流行的启发式方法，它使用迭代求解器近似溶液，并通过计算路径区分它。这项工作提供了对梯度下降和Chebyshev方法的二次目标的这种方法的非反应收敛速率分析。我们表明，为了确保雅各布的融合，我们可以1）选择较大的学习率，导致快速渐近地收敛，但接受该算法可能具有任意长的燃烧阶段或2）选择较小的学习率直接但较慢的收敛性。我们将这种现象称为展开的诅咒。最后，我们讨论了相对于这种方法的开放问题，例如为最佳展开策略得出实用的更新规则，并与Sobolev正交多项式领域建立了新的联系。
translated by 谷歌翻译
黑框模型的鲁棒性研究被认为是基于结构方程和从数据中学到的预测模型的数值模型的必要任务。这些研究必须评估模型的鲁棒性，以实现其输入的可能错误指定（例如，协变量转移）。通过不确定性定量（UQ）的棱镜对黑盒模型的研究通常基于涉及输入上施加的概率结构的灵敏度分析，而ML模型仅由观察到的数据构建。我们的工作旨在通过为这两个范式提供相关且易于使用的工具来统一UQ和ML可解释性方法。为了为鲁棒性研究提供一个通用且易于理解的框架，我们定义了依赖于概率指标之间的瓦斯汀距离的分位数约束和投影的输入信息的扰动，同时保留其依赖性结构。我们表明，可以通过分析解决这个扰动问题。通过等渗多项式近似确保规律性约束会导致更平滑的扰动，这在实践中可能更适合。从UQ和ML领域进行的实际案例研究的数值实验突出了此类研究的计算可行性，并提供了对黑盒模型鲁棒性的局部和全球见解，以输入扰动。
translated by 谷歌翻译
分析脑电图时，神经科医生经常在寻找各种“感兴趣的事件”。为了在这项任务中支持他们，已经开发了各种基于机器学习的算法。这些算法中的大多数将问题视为分类，从而独立处理信号段并忽略了持续时间事件固有的时间依赖性。在推理时，必须在处理后进行处理以检测实际事件。我们提出了一种基于深度学习的端到端事件检测方法（EventNet），该方法直接与事件一起作为学习目标，从临时的后处理方案逐渐消失，以将模型输出转化为事件。我们将EventNet与用于人工制品和癫痫发作检测的最新方法进行了比较，这两种事件类型具有高度可变的持续时间。 EventNet在检测两种事件类型方面显示出改进的性能。这些结果表明，将事件视为直接学习目标的力量，而不是使用临时后处理来获取它们。我们的事件检测框架可以轻松地扩展到信号处理中的其他事件检测问题，因为深度学习骨干链不取决于任何特定于任务的功能。
translated by 谷歌翻译
课堂学习学习需要可塑性和稳定性，以便在保留过去的知识的同时从新数据中学习。由于灾难性的遗忘，当没有内存缓冲区可用时，在这两个属性之间找到妥协尤其具有挑战性。主流方法需要存储两个深层模型，因为它们使用微调与以前的增量状态的知识蒸馏一起整合了新类。我们提出了一种具有相似数量参数但分布不同的方法，以便在可塑性和稳定性之间找到更好的平衡。遵循已经通过基于转移的增量方法部署的方法，我们在初始状态后冻结了功能提取器。最古老的增量状态的类对这种冷冻提取器进行训练，以确保稳定性。使用部分微调模型预测最近的类别以引入可塑性。我们提出的可塑性层可以纳入任何用于无内存增量学习的基于转移的方法，并将其应用于两种此类方法。评估是通过三个大型数据集进行的。结果表明，与现有方法相比，所有测试的配置中均获得了性能提高。
translated by 谷歌翻译
腿部机器人运动是一项艰巨的任务，这是由于无数的子问题，例如脚接触的混合动力学以及所需步态对地形的影响。对浮动基础和脚关节的准确和高效的状态估计可以通过向机器人控制器提供反馈信息来帮助减轻这些问题的许多问题。当前的状态估计方法高度依赖于视觉和惯性测量的结合，以提供实时估计，从而在感知上较差的环境中残障。在这项工作中，我们表明，通过通过因子图公式利用机器人的运动学链模型，我们可以使用主要的特性惯性数据对基础和腿关节进行状态估计。我们使用基于因子图形的框架中的预先集成IMU测量，正向运动计算和接触检测的组合进行状态估计，从而使我们的状态估计值受到机器人模型的约束。模拟和硬件上的实验结果表明，我们的方法平均超过当前的本体感受状态估计方法27％，同时可以推广到各种腿部机器人平台。我们在各种轨迹上定量和定性地展示了我们的结果。
translated by 谷歌翻译
我们引入了三种算法，将模拟重力数据倒入3D地下岩石/流属性。第一种算法是一种基于数据驱动的，基于深度学习的方法，第二个算法将深度学习方法与物理建模混合到单个工作流程中，第三个考虑了表面重力监测的时间依赖性。这些提出的算法的目标应用是地下CO $ _2 $李子作为监视CO $ _2 $固存部部署的补充工具的预测。每种提出的算法的表现都优于传统的反转方法，并在几乎实时实时产生高分辨率的3D地下重建。我们提出的方法以$ \ mu $ gals的形式获得了预测的羽状几何形状和接近完美数据失误的骰子得分。这些结果表明，将4D表面重力监测与深度学习技术相结合代表了一种低成本，快速和非侵入性的方法，用于监测CO $ _2 $存储站点。
translated by 谷歌翻译
在分析此类数据中，高光谱脉冲仍然是最具挑战性的任务之一。深度学习一直在田野上盛开，并被证明超过了其他经典的不混合技术，并且可以有效地部署在配备高光谱成像器的地球观察卫星上。在这封信中，我们遵循这一研究途径，并提出了一个多分支卷积神经网络，该网络受益于融合过程中的光谱，空间和光谱空间特征。我们的实验结果得到了消融研究的支持，表明我们的技术从文献中优于其他人，而导致了更高质量的分数丰度估计。此外，我们研究了减少训练集对所有算法及其对噪音的稳健性的影响的影响，因为捕获大型且代表性的地面真相集是耗时且在实践中成本高昂的，尤其是在新兴的地球观察方案中。
translated by 谷歌翻译
通过优化农业管理实践来维持农场的可持续性有助于建立更适合星球的环境。新兴的卫星任务可以获取多光谱图像，从而捕获有关扫描区域的更详细的光谱信息，因此，在农业应用中的分析过程中，我们可以从细微的光谱特征中受益。我们介绍了一种从10 m Sentinel-2多光谱图像系列中提取2.5 m栽培地图的方法，该图像受益于紧凑型卷积神经网络。实验表明，与U-NET相比，我们的模型不仅通过提供更高质量的分割图来超过经典和深度的机器学习技术，而且还可以大大减少内存足迹（我们的模型的几乎可训练的参数，最多具有31m参数的参数U-nets）。在任务中，这种记忆节俭是关键的，这使我们能够在轨道进入轨道后将模型链接到AI驱动的卫星，因为由于时间限制，不可能发送大型网。
translated by 谷歌翻译
在试图在为人类建立的世界中执行有用任务的类人形机器人时，我们解决了自主运动的问题。人形机器人计划和控制算法在崎rough地形上行走的算法变得越来越有能力。同时，市售的深度摄像机已经变得越来越准确，而GPU计算已成为AI研究中的主要工具。在本文中，我们提出了一个新建造的行为控制系统，用于实现快速，自主，两足步行，而无需暂停或审议。我们使用最近发表的快速平面区域感知算法，基于高度图的身体路径计划器，A*脚步计划器和基于动量的步行控制器来实现这一目标。我们将这些元素放在一起，形成一个由现代软件开发实践和仿真工具支持的行为控制系统。
translated by 谷歌翻译